Dolley Payne sinh ngày 20 tháng 5 năm 1768 trong một khu định cư của những người theo Giáo hội Tín Hữu tại New Garden (nay thuộc quận Guilford, thành phố Greensboro, Bắc Carolina). Bà là con gái đầu lòng của Mary Coles Payne và John Payne Jr.

Mary và John kết hôn năm 1761 và đều là người đến từ bang Virginia. Vào năm 1765, cả hai vợ chồng di cư xuống Bắc Carolina. Mặc dù sống trong khu định cư của Giáo hội Tín Hữu, ban đầu, chỉ có Mary theo tôn giáo này, còn John Payne thì không. Mãi đến ba năm sau khi kết hôn, John mới đăng ký và được chấp nhận được tham dự hội nghị hằng tháng của Giáo hội Tín Hữu tại quận Hanover, Virginia nơi cha mẹ của Mary sống. John sau này trở thành một tín đồ ngoan đạo, và cả hai vợ chồng đều quyết định nuôi dạy con cái của họ theo đức tin của Giáo Hữu hội.

Năm 1769, gia đình Payne trở về Virginia. Dolley lớn lên trong đồn điền của ba mẹ bà ở vùng nông thôn ở phía đông tiểu bang. Tại đây, bà gắn bó khăng khít hơn với gia đình bên ngoại. Bà có tổng cộng 7 người em bao gồm: 3 người em gái (Lucy, Anna, Mary) và 4 người em trai (Walter, William Temple, Isaac, và John).

Năm 1783, khi cuộc Chiến tranh Cách mạng Hoa Kỳ nổ ra, John Payne, cũng như một số chủ nô khác ở những vùng giáp với miền Bắc nước Mỹ, đã thả tự do cho các nô lệ của mình. Trong khi một vài chủ nô người theo Đạo Giáo hữu như nhà Payne đã từ lâu được khuyến khích thả tự do nô lệ, một số chủ nô khác thì được thôi thúc bởi lý tưởng của phong trào cách mạng. Từ năm 1782 đến năm 1810, tỉ lệ giữa dân da màu tự do với tổng số dân da màu ở Virginia tăng từ dưới 1% lên 7.2%, và có khoảng 30,000 người da màu đã được tự do.

Khi Dolley được 15 tuổi, gia đình bà chuyển lên vùng Philadelphia, Pennsylvania nơi mà ba của bà, John, bắt đầu công việc buôn bán tinh bột. Tuy nhiên, đến năm 1791 thì việc làm ăn của ông thất bại và điều này đã khiến John bị khai trừ ra khỏi các buổi gặp gỡ của Giáo hội Tín hữu vì những giáo dân khác cho rằng đây là một điểm yếu của ông. Vào tháng 10 năm 1792, John Payne qua đời. Sau khi chồng mất, Mary Payne mở một nhà trọ nhỏ để trang trải cho sinh hoạt hằng ngày của gia đình. Sang năm 1793, bà dẫn hai người con nhỏ nhất của mình là Mary và John đến vùng phía tây Virginia để sống với người con gái Lucy và người chồng mới cưới của cô là George Steptoe Washington - một người cháu của vị Tổng thống Hoa Kỳ đầu tiên George Washington.